期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 内存高效的持久性分布式文件系统客户端缓存DFS-Cache
倪瑞轩, 蔡淼, 叶保留
《计算机应用》唯一官方网站    2024, 44 (4): 1172-1180.   DOI: 10.11772/j.issn.1001-9081.2023050590
摘要117)   HTML0)    PDF (3096KB)(98)    收藏

为了在数据密集型工作流下有效降低缓存碎片整理开销并提高缓存命中率,提出一种持久性分布式文件系统客户端缓存DFS-Cache(Distributed File System Cache)。DFS-Cache基于非易失性内存(NVM)设计实现,能够保证数据的持久性和崩溃一致性,并大幅减少冷启动时间。DFS-Cache包括基于虚拟内存重映射的缓存碎片整理机制和基于生存时间(TTL)的缓存空间管理策略。前者基于NVM可被内存控制器直接寻址的特性,动态修改虚拟地址和物理地址之间的映射关系,实现零拷贝的内存碎片整理;后者是一种冷热分离的分组管理策略,借助重映射的缓存碎片整理机制,提升缓存空间的管理效率。实验采用真实的Intel傲腾持久性内存设备,对比商用的分布式文件系统MooseFS和GlusterFS,采用Fio和Filebench等标准测试程序,DFS-Cache最高能提升5.73倍和1.89倍的系统吞吐量。

图表 | 参考文献 | 相关文章 | 多维度评价
2. 基于增量学习的RocksDB键值系统主动缓存机制
骆克云, 叶保留, 唐斌, 梅峰, 卢文达
《计算机应用》唯一官方网站    2020, 40 (2): 321-327.   DOI: 10.11772/j.issn.1001-9081.2019091616
摘要407)   HTML2)    PDF (723KB)(356)    收藏

由于分层结构的约束,基于日志结构合并(LSM)树的RocksDB键值存储系统面临着读取性能低下的问题。一种有效的解决方法是对热点数据进行主动缓存,但其面临两个挑战:一是如何在数据分布持续动态变化时对热点数据进行预测,二是如何将主动缓存机制与RocksDB存储结构衔接起来。针对这些挑战,基于预测分析技术,构建了由数据采集、系统交互、系统测试等部分组成的面向RocksDB键值系统的主动缓存框架,能够将热点数据缓存在LSM树的较低层级中;并对数据访问模式进行建模,设计并实现了基于增量学习的热点数据预测分析方法,能够有效减少存储介质的I/O访问次数。实验结果表明该机制能有效提升RocksDB在不同动态工作负载下的数据读取性能。

图表 | 参考文献 | 相关文章 | 多维度评价
3. 基于远程直接内存访问的高性能键值存储系统
王成, 叶保留, 梅峰, 卢文达
《计算机应用》唯一官方网站    2020, 40 (2): 316-320.   DOI: 10.11772/j.issn.1001-9081.2019091635
摘要380)   HTML4)    PDF (613KB)(565)    收藏

随着数据与系统规模的不断扩大,网络传输成为了键值存储系统的性能瓶颈。同时,远程直接内存访问(RDMA)技术能够支持高带宽和低时延的数据传输,为键值存储系统设计提供了新的思路。结合高性能网络中的RDMA技术,设计并实现了高性能、低CPU负载的键值存储系统Chequer;结合RDMA原语的特性,重新设计了键值存储系统的基本操作工作流程;并设计了基于线性探测的共享hash表,解决客户端缓存失效的问题以及提高hash命中率来减少客户端的读取轮数,进一步提高了系统的性能。在小规模集群上实现了Chequer系统,并通过实验验证了其性能。

图表 | 参考文献 | 相关文章 | 多维度评价